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Capitulos de este curso 

■ Introduccion 
Planificacion 

■ Disefio de evaluacion anterior y posterior 

■ Disenos casi experimentales y experimentales 

■ Seleccion de la muestra 

■ Problemas estadisticos 

■ Resumen y ejercicios 



I* 



I. Proposito de evaluar la eficacia de la 
intervencion: 

Determinar si una intervencion tuvo el 
efecto deseado 

Calcular el alcance del efecto 



Proceso de evaluacion 

■ I. Fase organizacional 

□ cCual es el problema? 

□ Decision de implementar y evaluar la intervencion 

□ cCual es el objetivo, el cronograma y el presupuesto? 

□ Organizar un comite, seleccionar expertos tecnicos 



Fase 2: Planificacion y desarrollo 

■ Revisar datos historicos 

■ Establecer metodos de medicion 

■ Seleccionar un diseno 



Fase 2--continuacion 



Seleccionar una muestra del estudio 
Seleccionar los metodos analiticos 
Calcular la potencia estadistica 
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Fase 3: Intervencion 

■ Pre intervencion (Anterior): 

□ Medicion de los valores iniciales de las variables 
resultantes y otras variables importantes 

■ Post intervencion (Posterior): 

□ Medicion de los valores de las variables resultantes y 
otras variables importantes despues de haberse 
llevado a cabo la intervencion 



Fase 4: Analisis y presentation 



Realizar analisis cuantitativos y cualitativos de 
I os datos 



Interpretar los resultados 
Establecer conclusiones 
Presentar y difundir los resultados 
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Otros tipos de evaluaciones (no incluidas en 
este curso) 

■ Evaluation de las necesidades 

□ cQue tipo de intervention es necesaria? 

□ Por ejemplo, realization de entrevistas, 
analisis de los informes de incidentes 

■ Evaluation del proceso 

n^La nueva iniciativa se esta implementando 
segun lo establecido en el plan? 

■ Analisis de costos 
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II. PLANIFICACION 

A. Alcance 

B. ^A quien va dirigida? 

C. Selection del diseno 

1. Meta de la investigation de la intervention 

2. No experimental, casi-experimental o 
experimental 

33. Factores para tomar en cuenta 

D. Consejos 

1. Mantener un diario 

2. Obtener cooperation 
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REGLA: 

Decidir el diseno y los metodos de su 
evaluation ANTES de poner en practica la 
intervention. 



cPor que? Existe la oportunidad de 
recolectar datos importantes antes de que 
se lleve a cabo la intervention. 
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ALCANCE de la evaluacion 

Definir el alcance. 
Proposito general 

HcQue preguntas deberia responder la 
evaluacion? 



Recursos disponibles (fondos, personal) 

Fecha limite para tener los resultados de la 
evaluacion 
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cQuien deberia participar? 

1. Comite de evaluacion 
Supervisa la evaluacion 

Lo ideal seria que incluyera: 

Gerentes clave, trabajadores, representantes de 
los trabajadores 

Expertos en temas de evaluacion e intervencion 

Usuarios de la intervencion y de los resultados 

Diversidad (por ejemplo, un critico de la propuesta 
asi como sus proponentes; grupo 
multidisciplinario) 
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(cQuienes?) 2. Parte independiente 

Invitar a un evaluador externo y objetivo 
que revise el plan, los informes y los 
analisis, si es posible, para 

Reducir el sesgo "interno" 
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(<i,Quienes?) 3. Expertos tecnicos 

Estadistica 

Seguridad y salud ocupacionales 

Gerencia 

Sicologia social u ocupacional 

Salud publica 

Education 

^Donde? Universidades, organizaciones de 
seguridad, institutos de investigation 

^Cuando? En los inicios de la evaluation. 
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C. Seleccion del diseno de la 
evaluacion 

El diseno de la evaluacion es el protocolo 
general para realizar las mediciones. 

Por ejemplo, <i,cuantos grupos de 
trabajadores se incluiran en el muestreo y 
cuando? 
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Selection del diseno: preguntas 

Factores eticos o legales para tomar en cuenta 
cpuede hacerles dano a los sujetos o controles? 

cCual diseno dara validez a la evidencia? 

<i,Cual metodo de recoleccion y analisis de datos 
es posible realizar con los recursos disponibles? 
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Diseno: preguntas (continuacion) 

<i,Ya ha tenido lugar la intervention? (esto 
podria limitar las opciones de diseno) 

cCuando se necesitan los resultados? 



^Ofrece el diseno suficiente poder 
estadfstico? 
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Diseno: preguntas (continuacion) 

<i,Que influencia tiene el sitio de trabajo en 
el diseno ? 

^Cuantos trabajadores o sitios de trabajo hay 
disponibles para el estudio? 

<i,Es posible usar grupos de comparacion? 

^Es posible la aleatorizacion de trabajadores 
o sitios de trabajo? 

Pueden haber otras preguntas. 
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Meta de la investigation sobre las 
intervenciones de seguridad 

i Decir si una intervention especifica 
mejoro o no la seguridad de los 
trabajadores. 

Fortaleza de la evidencia« — -diseno del estudio 
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Disenos de evaluacion 

No experimental 

□ No es un experimento 

No realiza seleccion aleatoria de trabajadores 

Casi experimental 

Entre diseno no experimental y experimental 

Experimental 

3 Tiene un grupo de control, seleccion aleatoria, mediciones pre 
intervencion 
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Caracteristicas de los disenos de evaluacion 



Diseho 


Fortaleza de la 
evidencia 


Aleatorizacion 
de trabajadores 


No 
experimental 


Debil 


No 


Cuasi 
experimental 


Moderada 


No 


Experimental 


Fuerte 


Si 
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Aleatorizacion: metodo para asignar 
trabajadores o sitios de trabajo bien sea a 
un grupo de intervention o a uno de 
control mediante un proceso imparcial 
(aleatorio) 
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Caracteristicas comunes de los disenos de 
evaluacion cuando se utilizan en sitios de trabajo 



Diseho 


Grupo de 
comparacion 
o de control 


Mediciones 
pre intervencion 


No experimental 


A veces 


A veces 


Casi experimental 


A veces 


Si 


Experimental 


Si 


Si 
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Grupo de control 



No participa en la intervencion 



uSe compara con el grupo que si lo hace 
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Enfoque del curso: disenos no 
experimentales y casi experimentales 

Practico para sitios de trabajo sencillos y 
mas pequenos 



28 



Consejos para la planificacion 

Mantener un diario de la intervencion (libro 
de registro) para: 

complementar la recoleccion formal de datos 

tener acceso a valiosa informacion, 
especialmente si hay resultados inesperados 

Dcontar con un registro de posibles influencias, 
como cambios de personal o de procesos 
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Consejos-continuacion 

Para obtener cooperacion 

Explique: 

el proposito de la evaluacion 

^que va a pasar con la informacion 
personal? 

cque se hara con los resultados? 

Mas consejos en: NIOSH 2001-119, paginas 14- 
15 
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Resumen: planificacion 

Decidir los objetivos y el alcance. 

Lograr la participation de todas las partes 
pertinentes. 

Identificar los conceptos que seran 
analizados. 

Seleccionar un diseno. 

Mantener un diario de la intervention. 
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III. DISENO DE EVALUACION 
ANTERIOR Y POSTERIOR 

■ Un diseno sencillo, no experimental 

■ Sirve para evaluar los prog ram as de corto plazo 
y sus efectos inmediatos 

■ Amenazas a la validez 

■ Es preferible a no hacer ninguna evaluation 

■ NIOSH y la tecnologfa para el control del polvo 
de silice 
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"Anterior" y "posterior" 

"Anterior": mediciones que se hacen antes 
de llevarse a cabo la intervention 



"Posterior": mediciones que se realizan 
despues de haber tenido lugar la 
intervention 
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"Amenazas a la validez interna" 



Explicaciones alternativas para los 
resultados observados en la evaluacion 



Tiene lugar entre las mediciones 
"anteriores" y "posteriores" 

Considerar otros datos o teorfas 
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8 amenazas 

■ 1. Historia 

uTiene lugar un acontecimiento importante que 
podria afectar los resultados 

Ejemplo: cambio de gerencia o de personal 

Si esto ocurre, trate de evaluar los efectos de 
la amenaza (podria buscar otros datos y 
comparar) 
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Amenazas-continuacion 

■ 2. Cambios de instrumentation o de 
presentation de datos 

Ejemplo: defectos de funcionamiento en los equipos 

Evitarlos al asegurarse de que los equipos funcionan 
adecuadamente 

Mantener la uniformidad en los procesos de 
recoleccion y generacion de estadisticas. 
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Amenazas-continuacion 

■ 3. Regresion a la media 

Un valor extremo o atipico previo a la intervencion 
cambia naturalmente hacia un valor medio o normal 
durante la intervencion 

Ejemplo: una tasa de lesiones excepcionalmente alta 
que tiene la probabilidad de ser menor al ano 
siguiente 

□ Permite consultar datos historicos 

n Usa un diseno que tiene un grupo de comparacion 
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Amenazas-continuacion 

■ 4. Comprobacion de la amenaza 

La accion de realizar mediciones "anteriores" 
podria afectar los resultados de seguridad 

Ejemplo: los resultados de un segundo 
cuestionario de seguridad son diferentes 
porque ya hay un conocimiento sobre el tema 

Aplicable a resultados como conocimientos, 
actitudes y practicas de los trabajadores 
sobre seguridad 
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Amenazas-continuacion 
■ 5. Placebo 

La intervencion podria tener un efecto no 
especifico sobre los resultados 

□ Mecanismo sicologico 

nEjempIo: el uso de nuevos teclados reduce 
los sintomas 
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Amenazas-continuacion 
■ 6. Efecto Hawthorne 



Participacion de investigadores o personas de afuera 
podria tener un efecto en los resultados 

n Ejemplo: el consultor observa a los trabajadores y 
sus cambios de conducta 



3 Se evita al realizar observaciones iniciales con 
regularidad hasta que no haya reaccion 
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Amenazas-continuacion 
■ 7. Maduracion 

n El grupo de intervencion cambia (independiente del 
componente de la intervencion) 

Ejemplos: envejecimiento, mas experiencia 
Tecnicas estadisticas 
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Amenazas-continuacion 

■ 8. Abandonos 

□ Participantes salen del grupo 

uTrate de obtener la informacion sobre los 
resultados finales de los trabajadores que 
dejaron el estudio de intervencion o 

3 Compare las caracterfsticas "anteriores" de 
ambos grupos. 
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Resumen 

El diseno de evaluacion "anterior" y 
"posterior" contiene amenazas a la validez 
interna. 

Las amenazas pueden generalmente 
manejarse con mas recoleccion y analisis 
de datos. 

Si se hace una evaluacion de largo plazo, 
trate de usar el diseno casi-experimental. 
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IV. DISENO CASI-EXPERIMENTAL 

■ Incorpora mas elementos al diseno 
anterior y posterior 

■ Se reducen algunas amenazas. 
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I.I 

5 Estrategias 

■ Anadir un grupo control. 

■ Hacer mas mediciones. 

■ Grupos reciben la intervencion en 
diferentes momentos. 

■ Acabar la intervencion. 

■ Medir resultados multiples. 
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V. DISENO EXPERIMENTAL 

■ Usa un grupo control aleatorio 

■ La aleatorizacion podria controlar las 
diferencias entre el grupo de intervention 
y el grupo de control 
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Grupos de control 

■ Recomendados 

■ Evitan amenazas a la validez interna con 
el uso de grupos similares, pero 
separados, de intervention y de control. 

□ Ejemplos de las caracteristicas que deben tenerse en 
cuenta 

■ Edad 

■ Experiencia laboral 

■ Educacion 
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Amenaza de rivalidad o resentimiento 

□ Verificar que el grupo de intervencion y el grupo de 
control reciban un tratamiento similar, aparte de la 
intervencion 
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VI. SELECCION DE LA MUESTRA 
DEL ESTUDIO 

■ A. <i,Quienes? 

Definiciones de poblacion destinataria (objeta a 
estudio), marco de muestreo, muestra del estudio 

■ B. cComo? 

C. Factores para tomar en cuenta 
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D oblacidn destinataria 

(Todos los trabajadores de la 
construccion) 
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Selection de la muestra del estudio 

En un sitio de trabajo pequeno, es posible 
que pueda realizar la intervention con 
todos los trabajadores. 

En un sitio de trabajo mas grande, la 

muestra deberia: 

representar el marco de muestreo o la 
poblacion destinataria. 

contar con un poder estadistico adecuado 
para detectar los efectos de la intervencion 
(consultar con un estadistico). 
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Como seleccionar la muestra 

Voluntarios 

No necesariamente representan a todos los 
trabajadores 

No necesariamente tienen mejores practicas 
laborales que los no voluntarios. 

Podrian seleccionarse a todos en un area 

No necesariamente representan los sitios de 
trabajo con diferentes ocupaciones. 
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Como seleccionar una muestra-continuacion 

Metodo recomendado: muestra aleatoria 

Probabilidad de seleccion es igual para todos 

Ejemplo: cara o cruz (lanzar una moneda al aire) 

Generador aleatorio de numeros 

Ejemplo: Microsoft Excel (Herramientas- 
>Analisis de datos) 

Podria estratificarse (consultar con un estadistico) 
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Resumen: muestra del estudio 

Seleccionar un marco de muestreo que sea 
tipico de la poblacion destinataria. 

Usar un muestreo aleatorio. 



En un diseno experimental, asignar 
aleatoriamente los participantes a los grupos de 
intervencion y de control. 

Recurrir a apoyos estadisticos como el calculo 
de potencia estadistica. 
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VII. PROBLEMAS ESTADfSTICOS 

■ A. ^Por que se necesita el analisis 
estadistico? 

■ B. Hipotesis nula (ningun efecto) 

■ C. Valor-p y signification estadistica 

■ D. Poder estadistico 

■ E. Intervalos de confianza 

■ F. Selection del tipo de analisis 
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REGLAS: 

■ Antes de iniciar el diseno de cualquier 
estudio, busque la ayuda de un 
estadistico. 



Antes de recoger cualquier 
information, hable con el estadistico 
sobre el analisis de datos. 
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^Por que deben hacerse los analisis 
estadisticos? 

■ Pueden abordar el tema de las amenazas 
a la validez interna 

□ Pueden tener en cuenta o controlar las diferencias de 
edad y otras caracteristicas entre los grupos 

■ Pueden determinar si el resultado se 
debio a la "casualidad" o si es 
"estadisticamente significative)" 
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Hipotesis nula (ningun efecto) 

La intervention no tiene ningun efecto en 
las exposiciones al polvo de silice. 

Ejemplo: no hay una diferencia 
estadisticamente significativa entre 
concentraciones de polvo de silice 
respirable en ambientes ventilados y 
concentraciones en ambientes no 
ventilados. 
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Valor-p y signification estadistica 

■ <i,Que tan grande debe ser la diferencia 
entre los grupos para rechazar una 
hipotesis nula? 

■ El metodo estadistico tiene generalmente 
en cuenta: 

□ las medias de dos grupos 

□ la variabilidad de los resultados en los 
trabajadores del estudio 

□ el tamano de la muestra 
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Valor-p 



■ "Es la probabilidad de que una diferencia 
por lo menos tan grande como la 
observada pueda haberse debido 
sencillamente a la casualidad, si en 
realidad no ha sido un efecto de la 
intervention". 

■ El poder estadistico es importante. 

NIOSH 2001-119, p. 80 
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Intervalo de confianza 

■ Intervalo que rodea la estimation puntual 

■ Generalmente es del 95% 

□ Significa que hay un 95% de probabilidades de que el 
alcance del efecto real se encuentre en ese intervalo 
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Seleccion del tipo de analisis 

■ Consultar a un estadistico. 

■ Por lo general, el estudio "anterior y 
posterior" sobre la tecnologia para el 
control del polvo usara una prueba t para 
muestras apareadas. 
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Resumen: problemas estadisticos 

Obtener ayuda estadistica cuando se disena el 
estudio de la evaluation. 

No depender solo de programas estadisticos 
para obtener todas las respuestas (piense en su 
hipotesis). 

El estadistico tendra en cuenta: 

□ tamano de la muestra 

□ poder estadistico 

□ variabilidad de los datos 

□ comprobacion adecuada 

□ otros factores 
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VIM. RESUMEN DE PRACTICAS 
RECOMENDADAS 

Planificar 

Consultar a expertos, especialmente a un 
estadistico 

Tener en cuenta las amenazas a la 
validez interna 
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EJERCICIOS 

^Sirvio de algo? 

NIOSH "antes y despues" 

de los estudios para el 
control del polvo de silice. 
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